import requests
from urllib.parse import urlencode

import time
import json
from concurrent.futures import ThreadPoolExecutor

import redis

r = redis.Redis(host='localhost', port=6379, decode_responses=True)


def index(key):
    mydb = myclient["baidu"]
    mycol = mydb["sites"]
    ke = urlencode({"kw": key})
    # url = f'https://www.xiaomapan.com/api/search?{ke}&page=1'
    # rep = requests.get(url).json()
    # total = int(rep['total'])
    for page in range(1, 301):
        print(page)
        ip = r.hget('xiaoxiang', 'ip')
        # print(ip)
        get_ip = json.loads(ip)
        print(get_ip)
        # time.sleep(1)
        count = 5
        while count > 0:
            try:
                # print(page)
                next_url = f'https://www.xiaomapan.com/api/search?{ke}&page={page}'
                resources = requests.get(next_url, proxies=get_ip, timeout=3).json()
            except:
                count -= 1
                continue
            else:
                judge = resources['resources']
                break

        try:
            # 不是None 报错 五次没有读取到
            if judge is None:
                break
            for item in judge:
                res = item['res']
                print(res)
                mycol.insert_one(res)
        except:
            continue


if __name__ == '__main__':
    # Java 1-222
    # 增理成网站  播放  免费IT课程
    # C语言 课程 Python Java 副业 网赚 逆向 sql注入 引流 小红书 抖音 快手 视频号
    # '副业', '网赚', '逆向', 'sql注入',  '引流', '小红书', '抖音', '快手', '视频号'  '人工智能', '深度学习', '数据分析', 'PPT模版', 'PS视频教程', '设计素材', '教育短片', 'JavaScript', '美女', '会计', '小说'
    # 人工智能  数据分析
    # 课程
    # 资料
    # 会计
    # 考研
    # 学习
    # 书单
    # 考试
    # 英语
    # 小说
    # 漫画
    # 电影
    # 游戏
    # 电子书
    # 美女
    # Python
    # JavaScript
    # C语言
    # 人工智能
    # 深度学习
    # 数据分析
    # PS视频教程
    # PPT模版
    # 设计素材
    # 王者荣耀
    # 阴阳师
    # 炉石传说
    # 史记
    # 红楼梦
    # 教育短片
    zyk = ['西综', '中综', '护综', '药综', '管综', '口综', '计算机408', '经济学', '金融431', '统计学', '经综', '翻译硕士', '汉语国际教育', '教育学311',
           '教育学333',
           '法硕', '口腔综合', '心理学312', '心理学347', '新闻与传播', '药学综合', '历史学', '四六级']
    zz = ['蒋中挺', '肖秀荣', '徐涛', '常成', '郭继承', '沪江', '考虫', '启航', '韦林', '文都', '新东方', '有道', '智课网', '米鹏', '任燕翔', '桑鸿斌', '石磊',
          '腿姐',
          '万磊', '王吉', '文娟', '张鑫']
    sx = ['数学', '张宇', '李林', '文都', '李永乐', '汤家凤', '武忠祥', '余炳森', '新东方', '陈剑', '丁勇', '方浩', '何先枝', '帮学堂', '考虫', '启航数学',
          '高昆仑',
          '李刚', '韦林数学', '学途', '有道', '刘喜波', '狮子数学', '王式安', '武忠祥', '徐小湛', '杨超', '张伟']
    yy1 = ['唐迟', '何凯文', '朱伟', '刘晓燕', '刘一男', '陈曲', '陈正康', '丁晓钟', '董仲蠡', '韩苏', '何威威', '帮学堂', '沪江网校', '启航', '新东方', '学途',
           '智课网',
           '蒋军虎', '考虫', '李达', '李睿', '刘畅', '马天艺', '曲根', '商志', '四六级', '谭建波', '唐静', '田静', '屠皓民', '王诚', '王江涛', '王泉', '吴扶剑',
           '夏徛荣', '徐可凤', '薛菲', '学府', '有道', '张剑', '中创', '钟平', '祝美']
    for item in zz:
        index(item)
